Design and verification of video quality metrics

This thesis introduces a new method for the design of video quality metrics. In addition, a set of generic guidelines for the verification of video quality metrics is described. Video quality metrics are an essential tool for the design of efficient video compression and transmission systems, but up to today the methods used for the task of evaluating the quality of a video that has been processed for transmission are very limited in their performance. The goal of visual quality metrics is to assign a quality value to a processed video that is equal, or at least similar, to the quality that would be assigned to the same video by human observers. To achieve this goal, a number of methods have been proposed so far, but none of those has proven to achieve the desired accuracy for a wide set of different sequences or processing steps. The main problem in the design of such quality metrics is the very limited knowledge about the way humans perceive what is shown in a video. Whereas many things can be measured in a video, and also some properties can be measured that are known to have an influence on the perceived visual quality, still the quantitative influence of this measured features on the visual quality is unknown. As it is currently not possible to model the human visual system to an extend that would allow designing a visual quality metric only based on such a model, it is proposed to treat this human visual system as a black box. This black box is then described only by its inputs, which is the video, or a set of measurements that describe this video, and its output which is the visual quality that is assigned to this special video. It is proposed to determine the relationship of the input values and the output visual quality using methods provided by multivariate data analysis. Using this approach, the quantitative influence of measurements like blur, blocking, detail or motion on the visual quality can be determined. It is shown, that accurate visual quality metrics can be built using the described method. Zusammenfassung In dieser Dissertation wird eine neue Methode für den Entwurf von Videoqualitätsmetriken vorgestellt. Zusätzlich werden generische Richtlinien für die Verifikation von visuellen Qualitätsmetriken beschrieben. Videoqualitätsmetriken sind ein essentieller Teil für den Entwurf von effizienten Systemen für die Kompression und Übertragung von digitalem Video. Allerdings sind die für die Bewertung der visuellen Qualität von Video verwendeten Methoden noch deutlich von der gewünschten Genauigkeit entfernt. Das Ziel von visuellen Qualitätsmetriken ist, einem Video das komprimiert und für die Übertragung bearbeitet wurde den gleichen oder zumindest einen sehr ähnlichen Qualitätswert zuzuweisen, den auch ein menschlichen Zuschauer für dieses Video vergeben würde. Um dises Ziel zu erreichen wurden bereits zahlreiche Methoden vorgeschlagen, bis jetzt konnte aber für keine dieser Methoden eine ausreichende Genauigkeit für eine Vielzahl von unterschiedliche Sequenzen oder Bearbeitungsschritten gezeigt werden. Eines der Hauptprobleme bei dem Entwurf von solchen Qualitätsmetriken ist das sehr beschränkte Wissen darüber, wie der menschliche Wahrnehmungsvorgang bezüglich der visuelle Qualität von Video funktioniert. Während viele Eigenschaften eines Videos gemessen werden können und von einigen dieser Eigenschaften auch bekannt ist, dass sie einen Einfluß auf die wahrgenommene Bildqualität haben, so ist weiterhin unbekannt wie groß dieser Einfluss im Einzelfall ist. Da es auch in naher Zukunft höchstwahrscheinlich nicht möglich sein wird den visuellen Wahrnehmungsprozess ausreichend genau zu modellieren um eine visuelle Qualitätsmetrik basierend auf einem solchen Model zu entwickeln wird dieser Prozess hier als ‘Black Box Model’ betrachtet. Diese ‘Black Box’ wird nur durch die Eingangswerte und dazu dazugehörigen Ausgangswerte beschrieben. In diesem Fall sind die Einganswerte dieser ‘Black Box’ das komprimierte Video oder eine Beschreibung dieses Videos, der einzige Ausgangswert ist die visuelle Qualität dieses Videos. Der Zusammenhang zwischen den Eingangswerten und dem Ausgangswert ‘visuelle Qualität’ wird mit Methoden der multivariaten Datenanalyse modelliert. Mit diesem Ansatz ist es möglich den quantitativen Einfluss von Variablen wie Unschärfe, Blockartefakte, Bewegung oder Details, die aus dem Video extrahiert werden können, auf die visuelle Qualität zu bestimmen. In dieser Arbeit wird gezeigt, dass mit Hilfe dieser Methode präzise visuelle Qualitätsmetriken für Video entworfen werden können.